﻿using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace PocketEngine.Text
{
    public class pTokenizer
    {
      
        static char[] Seperators = new char[0];
        public static void Init()
        {
            AddSeperator(" ");
            AddSeperator("  ");
            AddSeperator("\n");
            AddSeperator("\r");
            AddSeperator(new string((char)0, 1));
            AddSeperator(";");
            AddSeperator("(");
            AddSeperator(")");
            AddSeperator("[");
            AddSeperator("]");
            AddSeperator("{");
            AddSeperator("}");
            AddSeperator(",");
            AddSeperator(".");
            AddSeperator("\"");
            AddSeperator("!");
            AddSeperator("@");
            AddSeperator("#");
            AddSeperator("%");
            AddSeperator("^");
            AddSeperator("&");
            AddSeperator("+");
            AddSeperator("/");
            AddSeperator("*");
            AddSeperator("-");
        }
        public static void AddSeperator(string sep)
        {
            char[] nc = new char[Seperators.Length+1];
            for(int i=0;i<Seperators.Length-1;i++)
            {
                nc[i]=Seperators[i];
            }
            nc[nc.Length-1] = sep[0];
            Seperators = nc;
        }
        public static string[] Tokenize(string text)
        {
            return text.Split(Seperators, Seperators.Length);
        }

    }
}
